High-dimensional data arises in numerous applications, and the rapidly developing field of geometric deep learning seeks to develop neural network architectures to analyze such data in non-Euclidean domains, such as graphs and manifolds. Recent work by Z. Wang, L. Ruiz, and A. Ribeiro has introduced a method for constructing manifold neural networks using the spectral decomposition of the Laplace Beltrami operator. Moreover, in this work, the authors provide a numerical scheme for implementing such neural networks when the manifold is unknown and one only has access to finitely many sample points. The authors show that this scheme, which relies upon building a data-driven graph, converges to the continuum limit as the number of sample points tends to infinity. Here, we build upon this result by establishing a rate of convergence that depends on the intrinsic dimension of the manifold but is independent of the ambient dimension. We also discuss how the rate of convergence depends on the depth of the network and the number of filters used in each layer.

Nonnegative matrix factorization can be used to automatically detect topics within a corpus in an unsupervised fashion. The technique amounts to an approximation of a nonnegative matrix as the product of two nonnegative matrices of lower rank. In this paper, we show this factorization can be combined with regression on a continuous response variable. In practice, the method performs better than regression done after topics are identified and retrains interpretability.

Media bias can significantly impact the formation and development of opinions and sentiments in a population. It is thus important to study the emergence and development of partisan media and political polarization. However, it is challenging to quantitatively infer the ideological positions of media outlets. In this paper, we present a quantitative framework to infer both political bias and content quality of media outlets from text, and we illustrate this framework with empirical experiments with real-world data. We apply a bidirectional long short-term memory (LSTM) neural network to a data set of more than 1 million tweets to generate a two-dimensional ideological-bias and content-quality measurement for each tweet. We then infer a ``media-bias chart'' of (bias, quality) coordinates for the media outlets by integrating the (bias, quality) measurements of the tweets of the media outlets. We also apply a variety of baseline machine-learning methods, such as a naive-Bayes method and a support-vector machine (SVM), to infer the bias and quality values for each tweet. All of these baseline approaches are based on a bag-of-words approach. We find that the LSTM-network approach has the best performance of the examined methods. Our results illustrate the importance of leveraging word order into machine-learning methods in text analysis.

We present sketched linear discriminant analysis, an iterative randomized approach to binary-class Gaussian model linear discriminant analysis (LDA) for very large data. We harness a least squares formulation and mobilize the stochastic gradient descent framework. Therefore, we obtain a randomized classifier with performance that is very comparable to that of full data LDA while requiring access to only one row of the training data at a time. We present convergence guarantees for the sketched predictions on new data within a fixed number of iterations. These guarantees account for both the Gaussian modeling assumptions on the data and algorithmic randomness from the sketching procedure. Finally, we demonstrate performance with varying step-sizes and numbers of iterations. Our numerical experiments demonstrate that sketched LDA can offer a very viable alternative to full data LDA when the data may be too large for full data analysis.

虽然在矩阵完成文献中广泛研究了均匀的采样，但CUR采样近似于通过行样品和列样品近似矩阵。不幸的是，在现实世界应用中，这两种采样模型在各种情况下都缺乏灵活性。在这项工作中，我们提出了一种新颖且易于实现的采样策略，即跨浓缩采样（CCS）。通过桥接统一的采样和CUR采样，CCS提供了额外的灵活性，可以节省应用程序中的采样成本。此外，我们还为基于CCS的矩阵完成提供了足够的条件。此外，我们建议针对拟议的CCS模型，提出了一种高效的非凸算法，称为迭代CUR完成（ICURC）。数值实验验证了CCS和ICURC针对均匀采样及其基线算法的经验优势，这些实验在合成数据集和实际数据集上都验证了基线算法。

散射变换是一种基于小波的多层转换，最初是作为卷积神经网络（CNN）的模型引入的，它在我们对这些网络稳定性和不变性属性的理解中发挥了基础作用。随后，人们普遍兴趣将CNN的成功扩展到具有非欧盟结构的数据集，例如图形和歧管，从而导致了几何深度学习的新兴领域。为了提高我们对这个新领域中使用的体系结构的理解，几篇论文提出了对非欧几里得数据结构（如无方向的图形和紧凑的Riemannian歧管）的散射转换的概括。在本文中，我们介绍了一个通用的统一模型，用于测量空间上的几何散射。我们提出的框架包括以前的几何散射作品作为特殊情况，但也适用于更通用的设置，例如有向图，签名图和带边界的歧管。我们提出了一个新标准，该标准可以识别哪些有用表示应该不变的组，并表明该标准足以确保散射变换具有理想的稳定性和不变性属性。此外，我们考虑从随机采样未知歧管获得的有限度量空间。我们提出了两种构造数据驱动图的方法，在该图上相关的图形散射转换近似于基础歧管上的散射变换。此外，我们使用基于扩散图的方法来证明这些近似值之一的收敛速率的定量估计值，因为样品点的数量趋向于无穷大。最后，我们在球形图像，有向图和高维单细胞数据上展示了方法的实用性。

最近，“ SP”（随机Polyak步长）方法已成为一种竞争自适应方法，用于设置SGD的步骤尺寸。SP可以解释为专门针对插值模型的方法，因为它求解了插值方程。SP通过使用模型的局部线性化来求解这些方程。我们进一步迈出一步，并开发一种解决模型局部二阶近似的插值方程的方法。我们最终的方法SP2使用Hessian-Vector产品来加快SP的收敛性。此外，在二阶方法中，SP2的设计绝不依赖于正定的Hessian矩阵或目标函数的凸度。我们显示SP2在矩阵完成，非凸测试问题和逻辑回归方面非常有竞争力。我们还提供了关于Quadratics总和的融合理论。

歧管散射变换是用于在Riemannian歧管上定义的数据的深度提取器。它是将类似卷积神经网络的操作员扩展到一般流形的第一个例子之一。该模型的初始工作主要集中在其理论稳定性和不变性属性上，但没有为其数值实现提供方法，除非具有预定义的网格的二维表面。在这项工作中，我们根据扩散图的理论提出实用方案，以实现在自然主义系统（例如单细胞遗传学）中产生的流形散射转换，其中数据是一个高度点云，该云是模仿躺在上面的高维点云。低维歧管。我们证明我们的方法对于信号分类和多种分类任务有效。

加州无罪项目（CIP）是一个旨在获得自由被错误定罪的囚犯的临床法学学校计划，评估数千封邮件，其中包含了新请求的帮助和相应的案件文件。处理和解释这一大量信息对CIP官员提出了重大挑战，这可以通过主题建模技术成功地辅助。在本文中，我们应用非负矩阵分解（NMF）方法并实现重要的各种分支机构先前未捕获的数据集由CIP编译。我们识别现有案例文件的基础主题，并按犯罪类型和案例状态（判定类型）对请求文件进行分类。结果揭示了当前案例文件的语义结构，可以在进一步考试之前为新收到的案例文件提供CIP官员。我们还提供了对NMF的流行变体进行了实验结果，并通过现实世界应用探讨了每个变体的益处和缺点。

在线张量分解（OTF）是一种从流媒体多模态数据学习低维解释特征的基本工具。虽然最近已经调查了OTF的各种算法和理论方面，但仍然甚至缺乏任何不连贯或稀疏假设的客观函数的静止点的一般会聚保证仍然缺乏仍然缺乏缺乏。案件。在这项工作中，我们介绍了一种新颖的算法，该算法从一般约束下的给定的张力值数据流中学习了CANDECOMP / PARAFAC（CP），包括诱导学习CP的解释性的非承诺约束。我们证明我们的算法几乎肯定会收敛到目标函数的一组静止点，在该假设下，数据张集的序列由底层马尔可夫链产生。我们的环境涵盖了古典的i.i.d.案例以及广泛的应用程序上下文，包括由独立或MCMC采样生成的数据流。我们的结果缩小了OTF和在线矩阵分解在全局融合分析中的OTF和在线矩阵分解之间的差距\ Commhl {对于CP - 分解}。实验，我们表明我们的算法比合成和实际数据的非负张量分解任务的标准算法更快地收敛得多。此外，我们通过图像，视频和时间序列数据展示了我们算法对来自图像，视频和时间序列数据的多样化示例的实用性，示出了通过以多种方式利用张量结构来利用张量结构，如何从相同的张量数据中学习定性不同的CP字典。 。